Kulit Babun Anubis kelihatan berwarna hijau-kelabu dari jauh [1] tetapi pada jarak yang lebih dekat, warnanya berbilang disebabkan oleh cecincin kuning-perang dan hitam pada bulunya.[2] Bagaimanapun, bulu muka babun lebih halus dan warnanya berbeza-beza dari kelabu gelap sehingga hitam.[1] Pewarnaan ini ditonjolkan oleh kedua-dua jantina, tetapi babun jantan memiliki surai tirus di bahagian belakangnya, dengan bulu yang lebih panjang di atas menjadi semakin pendek sehingga panjangnya seperti biasa di bawah .[2] Selain surai, babun jantuan juga berbeza daripada babun betina daripada segi saiz dan beratnya. Pada puratanya, tingginya babun jantan 70 cm dan beratnya 24 kg; manakala babun betina berukuran 60 cm dan 14.7 kg.[2]

Seperti dengan babun yang lain, Babun Anubis mempunyai muncung yang panjang dan tajam bak anjing.[2] Oleh itu dan bersama-sama dengan ekor (38–58 cm) dan gaya jalan empat kakinya, Babun Anubis sebenarnya kelihatan seolah-olah haiwan kanin.[1] Ekornya seolah-olah hampir patah, dengan sesuku bahagian pertama yang muncul dari pinggulnya tegak dan tiga sukunya yang lain bengkok dengan ketara.[1] Tompok dedah pinggul Babun Anubis jauh lebih kecil daripada saiz tompok dedah pinggul babun yang sering ditonjolkan dalam filem kartun dan lerang komik.[2] Sebagaimana dengan kebanyakan haiwan Cercopithecine, Babun Anubis juga mempunyai kantung pipi yang digunakan untuk menyimpan makanan.[1]